AI 코딩 에이전트의 작업 대부분은 추론이 아닌 파일 읽기·보일러플레이트 코드 생성 같은 단순 I/O라는 점에 착안해, 저렴한 모델(Gemini 2.5 Flash)에 이런 반복 작업을 위임하는 라우팅 시스템을 구축해 Claude Code 토큰 사용량을 90% 절감한 사례다. 스포티파이의 'Portal' 플랫폼에서 'Mode'(선언형 에이전트) 두 개와 'shunt'라는 Claude Code 플러그인으로 자동 라우팅을 구현했다. 토큰 비용이 개발자 월급을 넘어설 것이란 전망 속에 프런티어 모델 비용 최적화가 실무적으로 중요해지는 시점에서 주목받는 접근이다.
데이터브릭스(Databricks)는 AI 코딩 도구를 도입하여 개발 속도를 크게 향상시켰으나, 기하급수적으로 증가하는 비용 문제에 직면했습니다. 이를 해결하기 위해 지속적으로 효율성이 높은 모델(오픈소스 및 저비용 모델)로 트래픽을 전환하는 등의 인프라 최적화 기법을 통해 사용자당 비용을 일정 수준으로 억제하면서도 AI 도구의 혜택을 극대화하는 전략을 공유했습니다.
수집된 에이전트 실행 기록(traces)을 바탕으로 작은 오픈소스 모델을 학습시키고, 요청에 따라 대형 모델과 소형 모델 간 라우팅을 수행하는 도구입니다. 라우팅을 통해 최고 수준(frontier)의 품질을 유지하면서도 비용을 획기적으로 절감할 수 있어 AI 인프라 비용 최적화에 매우 유용합니다.
오픈 가중치(open-weight) 모델들을 단일 모델처럼 묶어 하나의 AI 시스템으로 운영하는 새로운 접근법이 공개됐습니다. 요청마다 참여할 모델과 연산량을 동적으로 할당하는 방식으로, 강력한 단일 모델 대비 추론 비용을 3분의 1로 줄이면서도 동등한 성능을 달성하는 실무적 의미가 큽니다.
AI 코딩 에이전트 및 복잡한 워크플로우에서 비용과 성능을 최적화하기 위한 '모델 라우팅'의 핵심 원칙을 다룬 글입니다. 단순히 여러 최신 모델을 섞어 쓰는 것보다 속도, 품질, 비용 측면에서 명확한 차별점이 있는 소수의 모델을 두고, 실제 작업 환경 기반의 벤치마크와 과거 데이터를 활용해 라우팅해야 한다고 강조합니다.
AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)가 알파벳의 CapitalG와 엔비디아의 NVentures 등으로부터 1억 1,300만 달러(약 1,500억 원) 규모의 시리즈 B 투자를 유치했습니다. 이번 투자에는 주요 빅테크 기업들의 벤처 투자사들이 대거 참여하며, 단일 모델에서 멀티모델 기반의 프로덕션 환경으로 전환되는 AI 시장에서 모델 라우팅 및 게이트웨이 계층의 중요성이 크게 부각되는 계기가 되었습니다. 오픈라우터는 최근 6개월간 주간 토큰 처리량이 5조 개에서 25조 개로 급증했으며, 이번 자금을 바탕으로 인프라 확장과 기업용 기능 고도화를 진행할 계획입니다.